The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

给定数千种同样准确的机器学习（ML）模型，用户如何在其中选择？最近的ML技术使领域专家和数据科学家能够为稀疏决策树生成完整的Rashomon设置，这是一套几乎最理想的可解释的ML模型。为了帮助ML从业者识别具有此Rashomon集合中理想属性的模型，我们开发了Timbertrek，这是第一个交互式可视化系统，该系统总结了数千个稀疏决策树的规模。两种用法方案突出了Timbertrek如何使用户能够轻松探索，比较和策划与域知识和价值观保持一致的模型。我们的开源工具直接在用户的计算笔记本和Web浏览器中运行，从而降低了创建更负责任的ML模型的障碍。Timbertrek可在以下公共演示链接中获得：https：//poloclub.github.io/timbertrek。

在各种图像处理和计算机视觉任务中经常遇到颜色图像Denoising。一种传统的策略是将RGB图像转换为较小相关的颜色空间，并分别将新空间的每个通道定义。但是，这种策略无法完全利用渠道之间的相关信息，并且不足以获得令人满意的结果。为了解决这个问题，本文提出了一个新的多通道优化模型，用于在核定标准下减去Frobenius规范最小化框架下的颜色图像Deno。具体而言，基于块匹配，将颜色图像分解为重叠的RGB补丁。对于每个补丁，我们堆叠其相似的邻居以形成相应的补丁矩阵。提出的模型是在补丁矩阵上执行的，以恢复其无噪声版本。在恢复过程中，a）引入权重矩阵以充分利用通道之间的噪声差； b）单数值是自适应缩小的，而无需分配权重。有了他们，提议的模型可以在保持简单的同时取得有希望的结果。为了解决提出的模型，基于乘数框架的交替方向方法构建了准确有效的算法。每个更新步骤的解决方案可以在封闭式中分析表达。严格的理论分析证明了所提出的算法产生的解决方案序列会收敛到其各自的固定点。合成和真实噪声数据集的实验结果证明了所提出的模型优于最先进的模型。

多代理增强学习（MARL）最近在各个领域取得了巨大的成功。但是，借助黑盒神经网络架构，现有的MARL方法以不透明的方式做出决策，使人无法理解学习知识以及输入观察如何影响决策。我们的解决方案是混合经常性的软决策树（MixRTS），这是一种可解释的新型结构，可以通过决策树的根到叶子路径来表示明确的决策过程。我们在软决策树中引入了一种新颖的经常性结构，以解决部分观察性，并通过仅基于局部观察结果线性混合复发树的输出来估算关节作用值。理论分析表明，混合物在分解中保证具有添加性和单调性的结构约束。我们在一系列具有挑战性的Starcraft II任务上评估MixRT。实验结果表明，与广泛研究的基线相比，我们的可解释的学习框架获得了竞争性能，并提供了对决策过程的更直接的解释和领域知识。

在本文中，研究了无线网络的联合学习（FL）。在每个通信回合中，选择一部分设备以有限的时间和能量参与聚合。为了最大程度地减少收敛时间，在基于Stackelberg游戏的框架中共同考虑了全球损失和延迟。具体而言，在Leader级别上，将基于信息的设备选择（AOI）选择为全球损失最小化问题，而子渠道分配，计算资源分配和功率分配在追随者级别被视为延迟最小化问题。通过将追随者级别的问题分为两个子问题，追随者的最佳响应是通过基于单调优化的资源分配算法和基于匹配的子渠道分配算法获得的。通过得出收敛速率的上限，重新制定了领导者级别的问题，然后提出了基于列表的设备选择算法来实现Stackelberg平衡。仿真结果表明，所提出的设备选择方案在全球损失方面优于其他方案，而开发的算法可以显着降低计算和通信的时间消耗。

零击学习是一种学习制度，通过概括从可见类中学到的视觉语义关系来识别看不见的课程。为了获得有效的ZSL模型，可以诉诸于来自多个来源的培训样本，这可能不可避免地提高了有关不同组织之间数据共享的隐私问题。在本文中，我们提出了一个新颖的联合零摄影学习FedZSL框架，该框架从位于边缘设备上的分散数据中学习了一个中心模型。为了更好地概括为以前看不见的类，FEDZSL允许从非重叠类采样的每个设备上的训练数据，这些数据远非I.I.D.传统的联邦学习通常假设。我们在FEDZSL协议中确定了两个关键挑战：1）受过训练的模型容易偏向于本地观察到的类，因此未能推广到其他设备上的看不见的类和/或所见类别； 2）由于培训数据中的每个类别都来自单个来源，因此中心模型非常容易受到模型置换（后门）攻击的影响。为了解决这些问题，我们提出了三个局部目标，以通过关系蒸馏来进行视觉声音对齐和跨设备对齐，这利用了归一化的类协方差，以使跨设备的预测逻辑的一致性正常。为了防止后门攻击，提出了一种功能级防御技术。由于恶意样本与给定的语义属性的相关性较小，因此将丢弃低大小的视觉特征以稳定模型更新。 FedZSL的有效性和鲁棒性通过在三个零击基准数据集上进行的广泛实验证明。

配备高速数字化器的前端电子设备正在使用并建议将来的核检测器。最近的文献表明，在处理来自核检测器的数字信号时，深度学习模型，尤其是一维卷积神经网络。模拟和实验证明了该领域神经网络的令人满意的准确性和其他好处。但是，仍需要研究特定的硬件加速在线操作。在这项工作中，我们介绍了Pulsedl-II，这是一种专门设计的，专门为事件功能（时间，能量等）从具有深度学习的脉冲中提取的应用。根据先前的版本，PULSEDL-II将RISC CPU纳入系统结构，以更好地功能灵活性和完整性。 SOC中的神经网络加速器采用三级（算术单元，处理元件，神经网络）层次结构，并促进数字设计的参数优化。此外，我们设计了一种量化方案和相关的实现方法（恢复和位移位），以在所选层类型的选定子集中与深度学习框架（例如Tensorflow）完全兼容。通过当前方案，支持神经网络的量化训练，并通过专用脚本自动将网络模型转换为RISC CPU软件，几乎没有准确性损失。我们在现场可编程门阵列（FPGA）上验证pulsedl-ii。最后，通过由直接数字合成（DDS）信号发生器和带有模数转换器（ADC）的FPGA开发板组成的实验设置进行系统验证。拟议的系统实现了60 PS的时间分辨率和0.40％的能量分辨率，在线神经网络推断在信号与噪声比（SNR）为47.4 dB时。

当使用深度学习技术对程序语言进行建模时，广泛采用了带有树或图形结构的神经网络，以捕获程序抽象语法树（AST）中的丰富结构信息。但是，计划中广泛存在长期/全球依赖性，大多数这些神经体系结构无法捕获这些依赖性。在本文中，我们提出了Tree-Transformer，这是一种新型的递归树结构神经网络，旨在克服上述局限性。树转化器利用两个多头注意单元来建模兄弟姐妹和父子节点对之间的依赖关系。此外，我们提出了一个双向传播策略，以允许节点信息向两个方向传递：沿树木的自下而上和自上而下。通过结合自下而上和自上而下的传播，树转化器可以同时学习全局上下文和有意义的节点特征。广泛的实验结果表明，我们的树转换器在具有树级和节点级别的预测任务中，在与程序相关的任务中优于现有基于树或基于图的神经网络，这表明Tree-Transformer在学习两个树级时都表现良好和节点级表示。

半监督学习（SSL）通过利用大量未标记数据来增强有限标记的样品来改善模型的概括。但是，目前，流行的SSL评估协议通常受到计算机视觉（CV）任务的约束。此外，以前的工作通常从头开始训练深层神经网络，这是耗时且环境不友好的。为了解决上述问题，我们通过从简历，自然语言处理（NLP）和音频处理（AUDIO）中选择15种不同，具有挑战性和全面的任务来构建统一的SSL基准（USB），我们会系统地评估主导的SSL方法，以及开源的一个模块化和可扩展的代码库，以对这些SSL方法进行公平评估。我们进一步为简历任务提供了最新的神经模型的预训练版本，以使成本负担得起，以进行进一步调整。 USB启用对来自多个域的更多任务的单个SSL算法的评估，但成本较低。具体而言，在单个NVIDIA V100上，仅需要37个GPU天才能在USB中评估15个任务的FIXMATCH，而335 GPU天（除ImageNet以外的4个CV数据集中的279 GPU天）在使用典型协议的5个CV任务上需要进行5个CV任务。

本文着重于通过分散网络的在线内核学习。网络中的每个代理都会在本地接收连续流数据，并协同工作以学习一个非线性预测函数，该功能在复制的内核希尔伯特空间中相对于所有代理的总瞬时成本而言是最佳的。为了规避传统在线内核学习中维度问题的诅咒，我们利用随机功能（RF）映射将非参数内核学习问题转换为RF空间中的固定长度参数。然后，我们建议通过线性化ADMM（ODKLA）有效地解决在线分散的内核内核学习问题，提出一个名为在线分散内核学习的新颖学习框架。为了进一步提高沟通效率，我们在通信阶段添加了量化和审查策略，并开发了量化和通信的ODKLA（QC-ODKLA）算法。从理论上讲，我们证明了Odkla和Qc-odkla都可以在$ t $ time插槽上实现最佳的Sublinear后悔$ \ Mathcal {O}（\ sqrt {t}）$。通过数值实验，我们评估了所提出方法的学习效率，沟通和计算效率。